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(57) Abstract 

A process Is disclosed for observing or monitoring an area 
in space. Images of the area (1) to be observed/monitored are 
taken by means of at least one camera (2), the con v erted image 
information Is sent to a control computer (3), the control computer 
(3) checks the images for changes in the observed area ( 1), the mam 
direction and/or speed of optically perceptible changes (movements) 
in the observed area are analysed by analysis of the optical flow, 
the analysis result is converted into control instructions sent to a 
controller (4) that mechanically moves the camera, and if required 
the position and/or size of the image section mat may be taken by 
the camera is modified. Also disclosed is an interactive surveillance 
system with a control c omputer (3) co nn ected to or integrated into a 
camera (2) or into one among several cameras. The control computer 

(3) receives and processes the data recorded by the cameras) and 
sends control signals to a zoom lens (5). A mechanical controller 

(4) reacts to impulses from the control computer (3) and modifies 
the recording section of the area (1) to be observed or the size of the 
image section (5). A device reacts to signals from the control computer 




(3) and opens a normally closed passage. 



(57) Zusammenfliiwung 

Die Erfindung bctrifft ein Verfahrcn zum Beobacmen odcr Oberwachen cincs raumlichcn Bereiches, umfassend das Aufhehmcn von 
BUdem aus dem zu bcobachtcndcn/Qbcrwachcndcn Bereich (1) mit Hilfc mindestens einer Kamcra (2), das Senden dcr umgewandelten 
Bildiftformation an einen Steuerrcchner (3), das Auswerten dcr Bildcr im S tcucrrechncr (3) in bezug auf Vernnderungen im zu Obtrwachendcn 
Bcrcich (1), das Analysieren dcr Hauptricfatung lmd/oder der Geschwindigkelt von optisch wahmehmbaren Verlndenmgen (Bcwegungen) 
im zu fibcrwachendcn Bcrcich mit HUfe der Analyse des optischcn Fhisses, das Umsetzen des Analysccrgcbnisscs in Steucrbefehle 
zum mechanischcn Bcwcgcn der Kamcra an cine Stseucrcinrichtung (4), und ggf . das Verfindem des von der Kamcra aufoehmbarra 
Bildansschnittes in bezug auf Lagc imd/oder OrOflc; des weiteren betriffi die Erfindung ein interaktives Obcrwachnngssystem, welches 
einen mit einer Kamcra (2) odcr einer von mchrcrcn Kameras (2) verbundenen Oder darin intcgrierten Steucrrechner (3), der die von 
der/den Kamcra(s) aufgenommenen Daten aufhiramt und verarbeitet und Stcucnignalc an ein Zoom-Objektiv (5) senden kann, femer eine 
mechanische Steucremrichtung (4), die auf Impulse des Steuerrechners (3) hin den Aurnahmcausschnitt aus dem zu flberwachenden Bcrcich 
( 1 ) oder die Grfifie des BDdausschnittes (5) verandem kann, sowic eine Einrichtung zum fiffhen einer flblicherweise verschlossenen Passage 
aufweist, die auf Signale des Steuerrechners (3) reagiext. 
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Interaktives UberwachungsBystem 

Die vorliegende Erfindung betrifft ein interaktives 
Beobachtungs- oder Uberwachungssystem sowie ein Verfahren zum 
fiberwachen bzw. Beobachten eines raumlichen Bereiches, 
insbesondere zur Personenuberwachung oder Identif izierung von 
Personen . 

Der Stand der Technik kennt Kamerasysteme fir 
Uberwachungsaufgaben. Diese Kamerasysteme beschranken sich 
jedoch auf reine visualisierungs- und Ubertragungsaufgaben, d.h. 
die Bildinformationen aus dem zu uberwachenden Bereich werden 
zur direkten, gleichzeitigen Beobachtung an Monitore in einer 
Zentrale tibermittelt, oder sie werden auf Videoband 
abgespeichert, urn spater abgerufen werden zu k6nnen, bzw. sie 
werden nach einiger Zeit automatisch geldscht. 

Aus der EP 90 104 469.3 ist ein Verfahren zur Detektion von 
Intrudern bekannt, in welchem mit einer Videokamera und einer 
Video-Bild-Verarbeitungseinheit ein vorgegebener 
tiberwachungsbereich uberwacht wird. Dabei werden die zu 
detektierenden Objekte durch zwei zeitlich versetzte Videobilder 
mit Hilfe eines Dif f erenzbildverfahrens erkannt. 

Prinzipiell werden im Dif ferenzbildverf ahren 
aufeinanderfolgende Bilder voneinander abgezogen. Tritt eine 
hinreichend grofie Differenz zwischen zwei Bildern auf, so wird 
diese Differenz als "Bewegung" identif iziert bzw. analysiert. 

Der Einsatz solcher Verfahren hat jedoch Nachteile. So wird die 
Gesamtbewegungsrichtung im Falle komplexer Strukturen und einer 
inhomogenen Bewegungen (Beispiel: ein Arm schlenkert gegen die 
Laufrichtung) haufig inkorrekt ermittelt, da die 
Bewegungsrichtung anhand des ermittelten Schwerpunktes des zu 
beobachtenden Objekts analysiert wird. 
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Aufgabe der vorliegenden Erfindung ist es, ein 
Uberwachungs system bereitzustellen, in welchem die Kamera in 
Abhangigkeit vom Bildinhalt automatisch gesteuert und 
nachgefuhrt werden kann, wobei die Gesamtbewegungsrichtung mit 
hoher Genauigkeit ermittelt wird. 

Gelost wird die vorgenannte Aufgabe mit Hilfe des Verfahrens 
gemafi Anspruch 1 . 

Das interaktive Uberwachungssystem ist eine "intelligente 
Kamera" , die selbsttatig und schnell auf durch eine Analyse des 
optischen Flusses gewonnene Bildsignale reagieren kann. Es 
handelt sich dabei urn eine Echtzeit-Bildauswertung einer oder 
mehrerer Kameras, die der Bewegung in einem Uberwachungsbereich 
nachgefuhrt werden kann bzw. k6nnen und/oder uber die 
Veranderung des Bildausschnittes (Zoom) eine Vergr6fierung 
interessierender Bereiche bewirkt und somit z.B. die Gesichter 
von Menschen herausvergrSSern kann. Das System eignet sich fur 
die Uberwachung von Gebauden (Eingangen, Tiefgaragen) und dgl. 
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Figur la-c zeigt die Auswertung von zu verschiedenen Zeiten (t 
und t+1) auf genommenen Bildem (Fig. la) und zwar mit Hilfe der 
Analyse des optischen Flusses (Fig. lb) bzw. mit Hilfe eines 
Differenzbildverfahrens (Fig. 1c) . In Figur lb erkennt man ein 
5 optisches Flufivektorfeld. Das Kreuz zeigt jeweils den Ursprung 
der Bewegungsrichtung, Lange und Richtung des jeweiligen 
Striches weisen LSnge und Richtung des Bewegungsvektors. 

Durch z.B. Vektorsummation aller Einzelrichtungen kann nun auf 
10 eine Gesamtbewegungsrichtung von Objekten im Bild geschlossen 
und somit die Kamera nachgefuhrt werden. Mit einem reinen 
Differenzbild ist dies, wie aus Figur lc erkennbar, nicht 
m6glich. 

is Figur 2 zeigt ein System mit einer Autofocus- Kamera 2 mit einem 
Zoom-Objektiv 5, die auf einen Oberwachungsbereich 1 gerichtet 
ist. Die Kamera gibt die auf genommenen Bildsignale an einen 
Steuerrechner 3 weiter, der wiederum mit einer mechanischen 
Steuereinrichtung 4 verbunden ist. Die Kamera kann in 

20 verschiedener Weise einer ggf. detektierten Bewegung nachgehen, 
beispielsweise indem sie die Bewegungsrichtung analysiert und 
dieser Richtung im zu uberwachenden Bereich folgt oder indem sie 
eine VergrSSerung eines interessierenden Bildausschnittes durch 
Zoomen bewirkt . 

25 

Die Kamera kann kontinuierlich Bilder vom zu tiberwachenden 
Bereich an den Steuerrechner senden. Selbstverst&ndlich sind 
auch intermittierende Aufnahmen oder ein diskontinuierliches 
Aufnehmen (nur zu interessierenden, vorherbestimmten oder nicht 
30 vorherbestimmten Zeitabschnitten) moglich. Im Anf angszustand ist 
dabei das an der Kamera angeschlossene Zoom-Objektiv auf den 
gr6fitmftglichen Blickwinkel eingestellt. 

Die Bilder werden vom Steuerrechner (3) kontinuierlich 
35 ausgewertet, wobei nach Bewegung im Bild gesucht wird. 

Tritt Bewegung im Bild auf, so wird mit Hilfe einer Analyse des 
optischen Flusses die Haupt richtung der Bewegung und deren 
Geschwindigkeit ermittelt. Durch die Vektorsummation aller 
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Einzelrichtungen wird dabei auf eine Gesamtbewegungsrichtung von 
Objekten im Bild geschlossen, worauf die Kamera geeignet 
nachgefiihrt werden kann, so daS das bewegte Objekt immer voll im 
Bild ist. 

Der Steuerrechner ertnittelt aus dem Ort der Bewegung im Bild 
Steuerbef ehle, urn die Kamera auf eine geeignete Vergr6fierung der 
Bewegung nachzustellen. Dabei werden die Bewegungen beziiglich 
des "Blickwinkels" der Kamera, also ihrer Lage bzw. des 
Ausschnittes aus dem zu uberwachenden Bereich, durch eine 
mechanische Steuereinrichtung bewirkt, die ihre Impulse vom 
Steuerrechner erhalt. Die Impulse zum Verandern des Zoom- 
Ausschnittes der Kamera werden vom Steuerrechner an die Kamera 
zuruckgeleitet . Durch die Kombination dieser beiden 
"intelligenten" Mafinahmen wird die Ursache der Bewegung (die 
Person, das Tier, das sich bewegt) optimal ins Bild gebracht und 
vergr6Eert, so dafi z.B. die Bewegungen einer Person vollstSndig 
von der Kamera aufgenommen werden, solange sie sich im zu 
uberwachenden Bereich auf halt. 

Parallel dazu kann mit einem Mustervergleichsverf ahren, wie es 
z.B. aus dem Stand der Technik bekannt ist, im Bild nach 
gesichtsf arbigen Objekten gesucht werden und speziell ein 
Gesicht einer Person im Oberwachungsbereich herausvergrdSert 
werden. So kann ein derartiges Mustervergleichsverf ahren z.B. 
nach ellipsenf6rmigen Objekten bestimmter Ausrichtung, Gr6Se und 
Helligkeit suchen, die im Normalfall Gesichter darstellen. 

Vorzugsweise schaltet die Kamera in regelmafiigen Abstanden auf 
den gunstigsten Blickwinkel und den ihr grofitmoglichen 
Ausschnitt zuriick, urn evtl . weitere Bewegungen im 
Oberwachungsbereich zu detektieren. 

Die interaktive Kamera kann auch mit existierenden Gesicht s- und 
Personenerkennungssystemen gekoppelt werden, urn Aussagen iiber 
die Identitat der im Oberwachungsbereich befindlichen Person zu 
ermitteln. Hierzu wird z.B. ein Ausschnitt, der anhand der 
Bewegungsanalyse als zu einem bewegten Gesicht geh6rig erkannt 
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wurde, herausvergrdfeert und dieses Teilbild einem Muster- 
vergleich zugefuhrt, der in einer Datenbank mit abgespeicherten 
Gesichtsbildern nach dem Namen der entsprechenden Person sucht . 

In einer besonderen Ausgestaltung des erf indungsgem§fien 
Verfahrens kann durch autoraatischen Mustervergleich des 
aufgenommenen Bewegungsmusters mit abgespeicherten Mustern 
zwischen Personen und anderen bewegten Objekten (BlStter im 
Wind, Tieren usw.) unterschieden werden, um Fehlalarme zu 
vermeiden. 

Selbstverst&ndlich kann das interaktive tlberwachungssystem nicht 
nur rait einer Kamera, wie oben beschrieben, ausgestattet sein. 
Bei der Yerwendung mehrerer Kameras k6nnen 

Stereobildauswertungsverf ahren zur Detektion und Erkennung von 
bewegten Objekten herangezogen werden. 

Das vorstehend beschriebene interaktive System zur Beobachtung 
bzw. Uberwachung von Bereichen wie Gebauden (EingSngen, 
Tiefgaragen) oder dgl. fuhrt durch eine Echtzeit-Bildauswertung 
die Kamera oder die Kameras der Bewegung nach und vergroSert den 
bewegten Gegenstand optimal heraus. Der bewegte Gegenstand, z.B. 
eine menschliche Person, kann automatisch 

klassif iziert/identifiziert werden, wobei sich Fehlalarme durch 
die Bewegung von Tieren, Blattern usw. vermeiden lassen. In der 
Kombination mit beksuinten Bild- und Signalverarbeitungsverf ahren 
eignet sich das Verf ahren und das System der vorliegenden 
Erfindung zur namentlichen Identif ikation der im 
Uberwachungsbereich befindlichen Personen und dadurch auch als 
Eingangskontroll system fur Bereiche, die nur einer definierten 
Personengruppe zuganglich sein durfen (Ansprfiche 8 und 12) . 
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1. Verfahren zum Beobachten oder Uberwachen eines raumlichen 
Bereiches, umfassend 

das Aufnehmen von Bildern aus dem zu 
beobachtenden/uberwachenden Bereich (l) mit Hilfe 
mindestens einer Kamera (2) , 

das Senden (2a) der umgewandelten Bildinf ormation (A/D) 
an einen Steuerrechner (3), 

das Auswerten der Bilder im Steuerrechner (3), urn eine 
erste Verfinderung im zu uberwachenden Bereich (l) zu 
erfassen, 

das vektorielle Ermitteln der Bewegungsrichtung der 
optisch wahrgenommenen ersten Veranderung (Bewegungen) 
im zu uberwachenden Bereich mit Hilfe des optischen 
Flusses, 

das Umsetzen des Ermittlungsergebnisses in 
Steuerbefehle an eine Steuereinrichtung (4) zum 
mechanischen Bewegen der Kamera, und ggf . 
das Ver&ndern (5) des von der Kamera erfafiten 
Bildausschnittes in Bezug auf Gr6£e. 

2. Verfahren nach Anspruch 1, worin beim Erkennen von Bewegung 
im zu Uberwachenden Bereich optische, akustische oder 
elektrische (Alarm-) Signale abgegeben werden. 

3. Verfahren nach einem der obigen Anspriiche, worin der 
Bildausschnitt mindestens einer Kamera (2) beim Erkennen von 
Bewegung durch Verandern eines Zoom-Ob jektes (5) vergr6£ert 
wird. 

4. Verfahren nach einem der voranstehenden Anspriiche, wobei 
zusStzlich parallel mit einem Mustervergleichsverf ahren im 
raumlichen Bereich nach gesichtsfdrmigen Objekten gesucht 
wird und bei Erkennen des sich bewegenden Ob jektes als 
Gesicht dieses mit Hilfe eines Zooms (5) der Kamera (2) 
vergrSfiert und/oder seiner Bewegung mit der Kamera (2) 
nachgefdhrt wird. 



WO 97/04428 



7 



PCT/DE96/01344 



Verfahren nach einem der voranstehenden Anspruche, worin in 
vorbestimmten Abstanden die ursprungliche Lage und/oder der 
ursprungliche Bildausschnitt der Kamera (2) 
wiederhergestellt werden, um eine zweite oder dritte 
Veranderung im raumlichen Bereich (ebenfalls) zu erfassen. 

verfahren nach einem der obigen Anspruche, worin das Bilder- 
Aufnehmen kontinuierlich oder intermittierend ist. 

Verfahren nach einem der voranstehenden Anspruche , wobei detn 
Steuerrechner (3) zusatzlich Informationen uber Gesichter 
oder Personen aus einem Personenidentif ikationsverf ahren 
zuganglich sind. 

3. verfahren nach Anspruch 7, worin die Bildinformationen der 
Kamera (2) rait gespeicherten Informationen zu def inierten 
Personen verglichen wird und der Steuerrechner (3) mit einer 
Einrichtung verbunden ist, mit deren Hilfe beim Feststellen 
des Vorhandenseins von ausreichender Obereinstimmung 
dahingehend. daS Personenidentit§t angenommen wird, eine 
ublicherweise verschlossene Passage ge6ff net werden kann. 

9. Verfahren nach einem der voranstehenden Anspruche, wobei 
analysierte Bewegungsablauf e mit den Signalen bereits 
gespeicherter Bewegungsablaufe verglichen werden und die 
Abgabe von (Alarm-) Signalen nur dann erfolgt, wenn der 
Vergleich deutliche Abweichungen ergibt. 

10. Verfahren nach Anspruch 9, wobei der Bewegungsvergleich 
kontinuierlich oder intermittierend erfolgt. 

11. Verfahren nach einem der voranstehenden Anspruche, worin die 
auszuwertenden Bilder Stereobilder sind, die von 
insbesondere zwei Kameras gleichzeitig aufgenommen werden, 
um der Haupt-Bewegungsrichtung (vl,v2) der ersten und der 
zweiten "Veranderung" jeweils eine erste ( vl • , v2 ' ) und eine 
zweite (yl",v2") - senkrecht zueinander orient ierte - 
Bewegeungskomponente zuzuweisen. 
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12. 



13 



Verfahren nach einem der voranstehenden Anspruche, worin 
nach zyklischem Wiederherstellen des ursprunglichen 
(groStmoglichen) Bilsausschnitts einer der zwei Kameras (2), 
die im Bildausschnitt zuriickgestellte Kamera eine 
"Veranderung" ale eolches ermittelt und die nicht 
zuriickgestellte Kamera der Bewegung der schon erfaSten 
"Veranderung" weiter nachgefuhrt wird. 

Verfahren nach einem der voranstehenden Anspruche, worin die 
zyklische im Bildausschnitt zuriickgestellte Kamera nach 
vorbestimmter Zeit der Nicht-Erf assung einer weiteren 
"Veranderung" auf die von der anderen Kamera bereits erf afite 
(erste) "Veranderung" schnell zielgefuhrt wird, um mit 
beiden Kameras mehrere Bewegungskomponenten (vl,v2; vl',v2'; 
vl",v2") oder ein Stereobild zu erfassen. 

14. Interaktives Uberwachungssystem, umfassend 

- mindestens eine Kamera (2) mit einem Zoom-Objektiv (5) , 

- einen mit einer Kamera oder einer der Kameras verbundenen 
oder darin integrierten Steuerrechner (3) , der die von 
der /den Kamera (s) aufgenommenen Daten aufnimmt und 
verarbeitet und Steuersignale an das Zoom-Objektiv sendet, 

- eine mechanische Steuereinrichtung (4) , die auf Impulse des 
Steuerrechners (3) hin den Aufnahmeausschnitt aus dem zu 
uberwachenden Bereich (1) oder die Grdfie des 
Bildausschnittes (5) verandem kann, sowie 

- eine Einrichtung zum Offnen einer verschlossenen Passage,, 
die auf Signale des Steuerrechners (3) reagiert. 

15. Uberwachungssystem nach Anspruch 12, zusatzlich umfassend 
eine Einrichtung zum Erzeugen und Senden von akustischen, 
optischen und/oder elektrischen (Alarm-) Signalen. 

16. Uberwachungssystem nach Anspruch 14 oder 15, bei dem zwei 
Kameras (2) mit ihrem Ruheachse (100) etwa rechtwinklig zu 
einem Zentrum des raumlichen Bereichs (1) angeordnet sind. 




Figur 1b 
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